Nikolay Nikolayevich sinh ngày 8 tháng 8 năm 1831. Cha ông là Sa hoàng Nikolay I và mẹ là Aleksandra Fyodorovna (Charlotte của Phổ) thông qua cuộc hôn nhân Nikolay I có 4 con trai và 3 con gái. Nikolay là con trai thứ được xếp sau 2 anh trai Aleksandr và Konstantin trong hàng kế thừa hoàng vị vì vậy tuổi thơ không nhận được sự kỳ vọng nhiều từ mọi người xung quanh và từ khi sinh ra cha ông đã cố gắng đưa ông vào một nền giáo dục để sẵn sàng phục vụ dưới thời anh trai ông Aleksandr. Khác với các anh trai, Nikolay từ nhỏ được bao quanh bởi một nền giáo dục đậm chất quân sự, thầy của ông là tướng quân Aleksey Illarionovich Filosofov. Năm 8 tuổi ông được ghi danh vào Lữ đoàn thiếu sinh quân ở St. Petersburg.[4]